When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis
当模型合并比肩联合多任务强化学习：任务向量几何分析
🧭 Agent模型合并 · 任务向量几何分析 ★ 深度解读
Aimpoint Digital Labs
合并独立RL专家在AppWorld上匹敌联合多任务RL，因任务向量近正交使精细合并方法退化为均匀平均
📌 工作参考价值（4 点）
- 合并RL Agent的策略选择：若各专家任务向量余弦相似度接近零（<0.1），直接模型平均（如TIES、RAM+等复杂方法）即可达到联合训练效果，无需花费精力调优合并超参。
- 几何诊断工具：定期监控训练中任务向量间的余弦相似度，若持续增长并超过某一阈值（如>0.2），可提前终止训练或启用更强干扰消解合并法；若始终近正交，则可安全使用简单平均。
- 支持度与方向解耦的教训：即使多个LoRA专家修改完全相同模块（支持度高重叠），其参数更新方向仍可能近乎正交。设计合并算法时，不能仅依赖支持度重叠（如RAM）来判别共享与私有知识，应引入方向性指标（如余弦或主子空间对齐）。
- 独立训练再合并的可行性：在电商Agent多技能（如搜索、比价、下单）RL训练中，若数据/环境无法集中，可分别训练专项Agent后用平均合并，几乎不损失组合能力。